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Ја toba 7 О компании «Газинформсервис» 


Частная компания, основана в 2004 году в Санкт-Петербурге 


а чу Более 250 клиентов 


(в том числе 2 за рубежом) 


Более 400 сертифицированных з 
сотрудников б 6 продуктовых линеек 


Более 600 проектов в 31 субъекте 
федерации реализовано в 2021 году 


= 
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Jatoba 


Разработка на базе проверенного ядра PostgresoL 
Включена в реестр российского ПО 


Сертификация ФСТЭК - 5УД 


$ + + + 


Профессиональная команда разработчиков 
адра СУБД и решений на основе СУБД 


Ф Многоуровневая техническая поддержка 
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Jatoba / 


Зачем? 


• 152 ФЗ «О персональных данных» и вытекающие; 
e Индустриальные требования и стандарты (SOX, PCI); 


• Корпоративные риски. 


Что? 


• Идентификация и аутентификация; 
• Управление доступом субъектов доступа к объектам доступа; 
e Обеспечение целостности информационной системы и информации; 


e Регистрация событий безопасности. 
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агора 


Что будем обсуждать? 


СУБД 


«.ПШШ» 
ЩЕ = 
К 
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Реплики 


Год, Audit, Monitoring... 


(SIEM, Zabbix и т.п.) 


Јакоба / 


С самого начала у нас есть план, и мы будем его придерживаться! 


1. Защита подключений 
2. Защита на уровне данных 
3. Реплики 


4. Аудит 


Цель: Как сочетаются требования высокой нагрузки и безопасности 
(хочу все быстро, надежно и безопасно). 
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Хотелось бы понять, а какое требование «важнее» для проекта 
в целом? 


БЕЗОПАСНОСТЬ vs НОНГОАО 


0:0 


Приступим... 
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У а ГО ра Раунд 1. Защита подключений 
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\ 
У а ГО Ба Раунд 1. Защита подключений 


Сначала надо выяснить это: 


• 1 бизнес-пользователь = 1 пользователь СУБД? 


• Доступ к данным только через АРІ? 


СУБД выделена в отдельный сетевой сегмент? 


• Используется/нужен ли рооіїпд/ргоху и промежуточный слой? 


www.gaz-is.ru 10 


\ 
У а ГО ра Раунд 1. Защита подключений 


РООГЕК РООГЕК 


$333 


о шшш 
9220099 
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У а ГО ра Раунд 1. Защита подключений 


РОСЕЕК РОСЕЕК 


<> 


Во 
> 359389 
92,19 
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\ 
У а ГО ра Раунд 1. Защита подключений 


Уже потом можно применить это: 


e Используйте решения класса database firewall. 
e Требования к парольным политикам. 
e |Рзес (зачем этот монстр в цепочке доступа к кластерам СУБД?). 


e Настраивайте SSL/TLS, если у вас нет сетевого разграничения СУБД. 
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У а ГО ра Раунд 1. Защита подключений 


РООГЕК РООГЕК 


_ <> 
& <> | <> 
_ <> 
& <= КЕ 
то 
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TLS? TLS? TLS? TLS? 
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У а ГО ра Раунд 1. Защита подключений 


SSL/TLS Реоїосої Layers 


здесь грубо 50ms Ha соединение 
SSL; 


здесь BCA вычислительная нагрузка 


здесь грубо 50т$ на соединение 


Ref: https://sites.google.com/site/tisssloverview/ssl-tls-protocol-layers 
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5 
У а ГО ра Раунд 1. Защита подключений 


SSL/TLS Реоїосої Layers 


здесь грубо 50ms Ha соединение 
SSL; 


здесь BCA вычислительная нагрузка 


здесь грубо 50т$ на соединение 


Ref: https://sites.google.com/site/tisssloverview/ssl-tls-protocol-layers 
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\ 
У а ГО ра Раунд 1. Защита подключений 


Немного тестов без / с использованием 551 


Database: Розакез ОГ 
Пробуем немного нагрузить, используя рдбепсћ. 


Устанавливается соединение при каждой транзакции: 


рабепсп.ехе --соппесі -c 10 -t 5000 "ћоз!=192.168.220.129 дБпате-1азкаБ иѕег=роѕідгеѕ ssImode=verify-full 
ззгоосеп-гоо!СА.сп sslcert=client.crt sslkey=client.key« 


VS 


pgbench.exe --connect -c 10 -t 5000 "host=192.168.220.129 dbname=taskdb user=postgres" 
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\ 
У а ГО ра Раунд 1. Защита подключений 


Немного тестов без / с использованием 551 


Database: Розогез ОЇ 
Пробуем немного нагрузить, используя рдбепсћ. 


Все транзакции выполняются в одно соединение: 


рабепсп.ехе -c 10 -t 5000 "ћоз!=192.168.220.129 dbname=taskdb иѕег=роѕідгеѕ sslmode=verify-full 
ззгоосей-гоо!СА.сп sslcert=client.crt 55!Кеу=с!їепї.Кеу" 


VS 


pgbench.exe -c 10 -t 5000 "host=192.168.220.129 dbname=taskdb user=postgres" 
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У а ГО ра Раунд 1. Защита подключений 


Немного тестов без / с использованием 551 


Database: Роздкез ОЇ 
Пробуем немного нагрузить, используя рабепсп. 


Остальные настройки: 


scaling factor: 1 

query mode: simple 

number of clients: 10 

number of threads: 1 

number of transactions per client: 5000 

number of transactions actually processed: 50000/50000 
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У а ГО ра Раунд 1. Защита подключений 


Результаты тестов 


Устанавливается соединение при каждой транзакции 


latency average 171.915 ms 187.695 ms 
tps including connections establishing 58.168112 53.278062 
tps excluding connections establishing 64.084546 58.725846 
CPU 24% 28% 
latency average 6.722 ms 6.942 ms 
tps including connections establishing 1587.657278 1576.792883 
tps excluding connections establishing 1588.380574 1577.694766 
CPU 17% 21% 
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\ 
У а ГО ра Раунд 1. Защита подключений 


Что в итоге: 

• Нагрузка на ЦПУ (с увеличением числа коннектов > 10%) 

e Увеличение таймингов (никогда часто не переоткрывать соединения, 
пулеры здесь в помощь) 

e Уменьшение TPS (в общем незначительные проседание) 


e Российский ГОСТ (явной разницы в потере произв. не зафиксировано) 
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У а ГО ра Раунд 1. Защита подключений 


Что в итоге: 

• Нагрузка на ЦПУ (с увеличение числа коннектов > 10%) 

e Увеличение таймингов (никогда часто не переоткрывать соединения, 
пулеры здесь в помощь) 

e Уменьшение TPS (в общем не значительные проседание) 


e Российский ГОСТ (явной разницы в потере произв. не зафиксировано) 


БЕЗОПАСНОСТЬ vs НСНЕОАО 
0:1 
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агора 


www.gaz-is.ru 


Раунд 2. Защита Ha уровне данных / доступа K данным 


Подключение 
Подключение 


Подключение 


| 
S 
Е 
>> 
< 


Аудит 


Год, Audit, Monitoring... 
(SIEM, Zabbix и т.п.) 
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J а ГО Ба Раунд 2. Защита на уровне данных / доступа к данным 


Что можно применить? 


e На уровне данных 

• Шифрование данных (полей) 

e Маскирование (преобразование при выводе / редакция) данных (masking) 
• На уровне доступа данных 

• Разграничение доступа по ролям Security ОВА \ Application ОВА, ОВА 

e Ограничение доступа по строкам (RLS), когда СКАМТ/КЕМОКЕ уже недостаточно для вашей 

модели данных 

e Мандатный доступ, когда ролевая модель уже не справляется 
• Специальные методы 

• Очистка памяти (требования ФСТЭК УДА) 

• Шифрование на уровне файлов/блоков (ра сгуодеп / јасаѕ) 

- Епа-іо-епа-шифрование (ТРЕ + KMS в Роѕідге501) 
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J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


Немного тестов с рдсгуріо 


Database: Розатебз ОЇ 
Если надо скрыть отдельные поля 


Модуль расгуріо позволяет хранить в зашифрованном виде 
избранные поля. 
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J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Немного тестов с расгур!о 


Database: Роза те5з ОГ 
Создадим таблицу с зашифрованными данными и с открытыми данными: 
CREATE EXTENSION рдсгурго; 


CREATE TABLE t1 (id integer, text1 text, text2 text); 
CREATE TABLE t2 (id integer, text1 bytea, text2 bytea); 


INSERT INTO И (id, text1, text2) 
VALUES (generate_series(1,10000000), generate_series(1,10000000)::text, generate _series(1,10000000)::text); 


INSERT INTO t2 (id, text1, text2) VALUES ( 

generate_series(1,10000000), 

епсгурЦсазКдепегае зепез(1,10000000) AS text)::bytea, 'key'::bytea, БГ), 
encrypt(cast(generate_series(1,10000000) AS text)::bytea, 'key'::bytea, 'bf')); 
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J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Немного тестов с рдсгуріо 


Выборка из таблицы без функции шифрования: 


рза! -c "\timing" -c "select " Тот {1 limit 1000;" "ћоз1=192.168.220.129 арпатег-іазкар 
иѕег=роѕідгеѕ sslmode=disable" > 1.txt 


Секундомер включен. 
id | text1 ехо 
ЕРЕ пе З АНН 


997 | 997 | 997 
998 | 998 | 998 
999 | 999 | 999 
1000 | 1000 | 1000 
(1000 строк) 


Время: 1,386 мс 
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\ 
J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Немного тестов с расгур!о 


Выборка из таблицы с функцией шифрования: 


рза! -c "Мита" -c "select іа, decrypt(text1, 'key'::bytea, 'bf'), 
decrypt(text2, 'key'::bytea, 'bf') from t2 limit 1000;" 
"host=192.168.220.129 арпате-іазкар user=postgres sslmode=disable" > 2.txt 


Секундомер включён. 
id | decrypt | decrypt 
Zaan С EEE R EE 
1 | \хЗ1 | 1х31 

2 | \хЗ2 | \x32 

3 | 133 | \х33 


999 | х393939 | \х393939 


1000 | \х31303030 | 1х31303030 
(1000 строк) 


Время: 50,203 мс 
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\ 
J а tO ba Раунд 2. Защита Ha уровне данных / доступа K данным 


Почему шифрование не очень хорошо 


Скорость 


_______________________________без шифрованиа | Рдсгурго (decrypt) 
Выборка 1000 строк 1,366 мс 50,203 мс 


CPU 15% 35% 


ОЗУ 40% 90% 


Ключи могут быть перехвачены тем, кто имеет полный доступ к серверу баз данных, например, 
системным администратором. 
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\ 
J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


• Способы сокрытия данных, кроме шифрования: 
e ТАВІЕЅАМРІЕ (SELECT * FROM ту ае ТАВЕЕЗАМРЕЕ <ЗАМРЫМС МЕТНОО>) 
• Замена / удаление (частичная замена) чувствительных данных 
e (UPDATE x ЗЕТ у = "ТКОНФЕДЕНЦИАЛЬНО)) 
e (UPDATE x SET у = "ХХХ-УУУ- || substr(y FROM ... РОК...) 
e Генерирование случайных данных / шума 
e (UPDATE x ЗЕТ у = гапаот()) 
e (UPDATE x SET у = у + 2.0 * random() / 3.0) 
e Перемешивание данных 


e Генерирование фиктивных данных 


‚ Все это 
e - или отнимает процессорное время (на «размаскирование») 


e - или полезно для генерации тестовых наборов 
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\ 
J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


• Ролевая / Избирательная / Мандатная модель управления доступом 


Проведем тест: 


\сору (select 'create user и' || і || ';' Тот депегаїе ѕегіеѕ(1,500) 1) to 'изег5.за ' 
і изегв.за! 


\сору ( 
select 'сгеае table 1 


union а! 

select string_agg('f || i || ' іпіедег, ",) Тот депегаїе зепез(1,500) as і 
union а! 

select ');') to ЧаШМе.за! 

ү table1.sql 
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\ 
J а ГО ра Раунд 2. Защита на уровне данных / доступа к данным 


Разрешим каждому пользователю читать только «свое» поле 


\сору (select 'grant select (f || 1 || ") оп table 1 to и" || i || ; Тот депегаїе зепез(1,500) аз і) to 'grant.sq!' 
могапИ .за! 


Разрешим пользователям запускать тестовую функцию 


create ог replace function Типс(х integer) returns integer аз $body$ 
begin 
execute 'set role u' || x; 
execute 'select | || x || Кот 11"; 
return 0; 
end; 
$body$ language ріразаї; 


grant execute on function func to public; 
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\ 
Ј а ГО ра Раунд 2. Защита на уровне данных / доступа к данным 


(1) 


зе! x гапаот(1, 500) 
begin; 

select func(:x); 

end; 


pgbench.exe -c 10 -f bench1.sql -j 10 -n -t 20000 -U postgres postgres 


(11) 

begin; 

select func(1); 
end; 


pgbench.exe -c 10 -f bench2.sql -j 10 -n -t 20000 -U postgres postgres 
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J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


(1) 


transaction Туре: bench1.sql 

... Skipped ... 

latency average = 0.714 ms 

tps = 14013.996507 (including connections establishing) 
tps = 14197.016750 (excluding connections establishing) 


(1) 


transaction Туре: bench2.sql 

... Skipped ... 

latency average = 0.692 ms 

tps = 14459.490195 (including connections establishing) 
tps = 14640.943760 (excluding connections establishing) 
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J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


(1) 


transaction Туре: bench1.sql 

... Skipped ... 

latency average = 0.714 ms 

tps = 14013.996507 (including connections establishing) 
tps = 14197.016750 (excluding connections establishing) 


~ 3% 


overhead 


(1) 


transaction Туре: bench2.sql 

... Skipped ... 

latency average = 0.692 ms 

tps = 14459.490195 (including connections establishing) 
tps = 14640.943760 (excluding connections establishing) 
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\ 
J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Шифрование на уровне файлов данных 


Разработано соответствующее расширение, шифрующее блоки симметричным шифром (ключ 
подставляется параметром через конфигурационный файл) 


- задать ключ шифрования (256 бит): 

ЗЕТ |асаз.Кеу = "01234567890123456789012345678901"; 
- задать вектор инициализации (128 бит): 

ЗЕТ |асаз.м = "0123456789012345"; 
- создать зашифрованную таблицу: 

CREATE TABLE ќабе а (g int) USING jacas; 


tps = 1638.388343 (including connections establishing) 


tps = 1510.705612 (including connections establishing) 
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J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Как БЕСПЛАТНО получить PostgreSQL with TDE 


Качаем с сайта специальную версию с ТРЕ 


wget пурз://доуупоад.субепес-розЮгеза!.сот/розюгеза!-12.Х-ТОЕ- 
1.0beta2.tar.gz 
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J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Как собрать Роз«дгеза! with ТОЕ 
Конфигурируем 


/сопїїдиге --prefix=/usr/local/pg12tde --міїп-ореп55і --with-perl \ 
--Wwith-python --мил- дар 
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\ 
J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Как собрать Ро${9дгеза! with ТОЕ 


Компилируем 
таке install 


са сопігіб 
таке install 
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J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


Как собрать Роз«дгеза! with ТОЕ 
Настраиваем управление ключами (КМ5) 
Надо ключ выводить в stdout 

Вариант скрипта выдачи ключа при старте: 
% са! зотем/ћеге/ргомде_Кеу.зћ 


#!/bin/sh 
echo 882fb7c12e80280fd664c69d2d636913 
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J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


Как собрать Роз«дгеза! with ТОЕ 
CREATING А DATABASE INSTANCE / CLUSTER 


% initdb -D /ѕоте _path/db12tde -K /зотемлћеге/ргомде_Кеу.5ћ 
The files belonging to this database system will be owned by user "hs". 


Data page checksums are disabled. 
Data encryption is enabled. 


creating directory /some_path/db12tde ... ок 
creating subdirectories ... ОК 
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\ 
J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Как собрать Роз«дгеза! with ТОЕ 

initdb: warning: enabling "trust" authentication Тог local connections 
You can change this by editing pg_hba.conf or using the option -А, ог 
--auth-local and --auth-host, the next time you гип initdb. 


Success. You can now start the database server using: 


ра с! -D /some_path/db12tde - logfile start 
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J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


Как запустить собранный Ро5ідгез5ді with ТОЕ 


% ра с! -D /ѕоте раШ/9512ще start 

2020-01-29 11:54:19.131 СЕТ [42193] LOG: starting PostgreSQL 12.3 ТОЕ 1.0 оп 

х86 64-арріе-дагміп19.2.0, compiled Бу Apple clang version 11.0.0 (сіапд-1100.0.33.17), 
64-bit 

2020-01-29 11:54:19.132 CET [42193] LOG: listening on IPv6 address "::1", port 5432 
2020-01-29 11:54:19.132 CET [42193] LOG: listening on IPv4 address "127.0.0.1", port 
5432 

2020-01-29 11:54:19.133 СЕТ [42193] LOG: listening on Unix socket "/tmp/.s.PGSQL.5432" 
waiting for server to Зам... 

2020-01-29 11:54:19.151 CET [42197] LOG: database system was shut down at 2020-01-29 
11:54:05 CET 

2020-01-29 11:54:19.154 CET [42193] LOG: database system is ready to accept connections 
done 

server started 
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Как запустить собранный Роѕёдгеѕді with ТОЕ 


Помните скрипт для вывода ключа? 
% grep епсгуріїоп Кеу postgresql.conf 


епсгурНоп_Кеу_соттапа = /зотемућеге/ргомде_Кеу.зћ 
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\ 
J а tO ba Раунд 2. Защита Ha уровне данных / доступа к данным 


А что сообщество думает? 


Обсуждение с 2016 года 
https://www. postgresql.org/message- 
id/flat/031401d3f41d%245c70ed90%241552c8b0%24%40lab.ntt.co.jpl 


Five characteristics features: 


1) Buffer-level data encryption and decryption 

2) Per-table encryption 

3) 2-tier encryption key management 

4) Working with external key management services(KMS) 
5) WAL encryption 
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Раунд 2. Защита Ha уровне данных / доступа к данным 


А что сообщество думает? 
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e> C 


а commitfest.postgresql.org/28/2196/ 


Home / Commitfest 2020-07 / KMS - Internal key management system 


KMS - Internal key management system 


Edit Comment/Review ~ Change Status ~ 


Title 

Topic 
Created 

Last modified 
Latest email 


Status 


Target version 
Authors 


Reviewers 


Committer 
Links 


Emails 


KMS - Internal key management system 
Server Features 

2019-07-02 05:25:54 

2020-12-10 06:48:41 (5 months ago) 


2020-09-08 08:23:23 (8 months, 1 week ago) 


бы 
2020-07: 
2020-03: 
2020-01: 
2019-11: 
2019-09: 


Masahiko Sawada (тазаћКозамада), |пзипа Moon ({ѕикіматооп), Ibrar Ahmed (ibrar) 


Cary Huang (cary) 


Wiki 


[Proposal] Table-level Transparent Data Encryption (ТОЕ) and Key Management Service (KMS) 
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\ 
J а tO ba Раунд 2. Защита на уровне данных / доступа к данным 


Что в итоге: 
• Любое шифрование данных — нагрузка на СРО (отсюда омегћеаа) 
e Усложнение модели доступа данных => overhead 


e Специальные методы доступа (data а! rest) => overhead 


БЕЗОПАСНОСТЬ vs НОНГОАО 
1: 1 
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Jatoba Раунд 3. Реплики 


СУБД 


Подключение 


Подключение 


АЕ 
Ау ДИТ 
Г і 


Log, Audit, Monitoring... 


(SIEM, Zabbix n T.n.) 
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Jatoba Раунд 3. Реплики 


В PostgreSQL: 


• Синхронная / асинхронная реплика (согласованность данных) 


e 551 / по53і| соединения между primary и replica (ssImode=ssl-verify) 


Что получилось: 


SYNC 1562.525069 1558.958330 
АЗҮМС 2083,868385 2049,406234 
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\ 
Jatoba Раунд 3. Реплики 


В PostgreSQL: 
• Синхронная / асинхронная реплика (согласованность данных) 


e 551 /поО551 соединения между primary и replica 


БЕЗОПАСНОСТЬ vs НСНЕОАО 
0:1 


\ 
Загора / Раунд 4. Аудит 


СУБД 


Год, Audit, Monitoring... 
(SIEM, Zabbix и т.п.) 
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\ 
Ј а ГО ра / Раунд 4. Аудит. 


Пишем логи и пытаемся потом там ловить. 
Где и какой аудит можно включить? 
e Коммерческие СУБД уровня Enterprise — там все ОК. 


e Розогез ОГ – extension : pgaudit; 


e Роздгез ОГ – default log (про это подробнее дальше). 
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\ 
Ј а ГО ра / Раунд 4. Аудит. 


Немного тестов с включением аудита запросов 
Включено логирование всех запросов БД по всем параметрам 


postgresql.conf 


log_destination = 'stderr' 
logging_collector = on 
log_truncate_on_rotation = on 
log_rotation_age = 1d 
log_rotation_size = 10MB 
log_statement = all 
log_min_duration_statement = 0 
debug_print_parse = on 
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debug_print_rewritten = on 
debug_print_plan = on 
debug_pretty_print = on 
log_checkpoints = on 
log_connections = on 
log_disconnections = оп 
log_duration = on 
log_hostname = on 
log_lock_waits = on 

Іод геріісаїоп соптапав = оп 
log_temp_files = 0 
log_timezone = 'Europe/Moscow' 
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Ј а ГО ра / Раунд 4. Аудит. 


Немного тестов с включением полного аудита 


Сервер: 1СР\) 2,8ГГц, 2Гб ОЗУ, 40Г6 НОР. 
Database: Розогез ОЇ 


Включено максимальное логирование БД по всем параметрам. 


Пробуем немного нагрузить, используя команды: 

рабепсп -p 5432 -U postgres -i -s 150 benchmark 

pgbench -p 5432 -U postgres -c 50 -j 2 -P 60 -T 600 benchmark 
pgbench -p 5432 -U postgres -c 150 -j 2 -P 60 -T 600 benchmark 
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\ 
Ј а ГО ра / Раунд 4. Аудит. 


Почему полный аудит не очень хорошо 
Ей Без логирования | С логированим | | 


Итоговое время наполнения БД 43,74 сек 53,23 сек 
ОЗУ 2490 4090 
СРИ 72% 91% 
Кол-во транзакций за 10 мин 74169 32445 
Транзакций/сек 123 54 
Средняя задержка 405 мс 925 мс 
Кол-во транзакций за 10 мин 81727 31429 
Транзакций/сек 136 52 
Средняя задержка 550 мс 1432 мс 
Размер БД 2251 МЬ 2262 МБ 
Размер логов БД 0 Мб 4587 Мб 
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\ 
Ј а ГО ра // Раунд 4. Аудит. 


А в жизни корпорации все еще хуже 


e Данных много. 
Аудит надо не только через syslog в SIEM, но и в файлы тоже (ну так, на всякий случай). 
Для аудита нужна отдельная полка, чтоб не просесть по ЛО дисков. 


Сотрудники ИБ: «Нам надо все и да, еще ГОСТ везде!». 
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\ 
Ј а ГО ра / Раунд 4. Аудит. 


БЕЗОПАСНОСТЬ vs НОНГОАО 
1: 1 


Јакоба / 


Что делать, если нет нужной фичи в СУБД? 


“Пилите, Шура, пилите!” 


Общий счет! 


БЕЗОПАСНОСТЬ vs НОНГОАО 
0:1 1:1 0:1 1:1 
2:4 


Jatoba 
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Дре 


ө 
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Спасибо 
за внимание! 


+7 (812) 677-20-53 
jatoba@gaz-is.ru 


